Transformer-XL
Transformer-XL 1. 개요 Transformer-XL(Extra Long Transformer)은 기존 Transformer 모델의 고정된 컨텍스트 길이 제한을 극복하기 위해 제안된 대규모 언어 모델 아키텍처로, 세그먼트 수준의 재귀 메커니즘을 통해 매우 긴…
Transformer-XL 1. 개요 Transformer-XL(Extra Long Transformer)은 기존 Transformer 모델의 고정된 컨텍스트 길이 제한을 극복하기 위해 제안된 대규모 언어 모델 아키텍처로, 세그먼트 수준의 재귀 메커니즘을 통해 매우 긴…
BERT-Base BERT-Base는 자연어 처리(NLP) 분야에서 혁신적인 전환을 가져온 Bidirectional Encoder Representations from Transformers(BERT) 모델의 기본 버전 중 하나로, 구글 연구팀에 의해 2018년에 발표…